Learning to Evaluate Before Improving: Automatic Rubric Induction for Automatic Research Agents
先评估后改进：自动科研 Agent 的评估准则自动归纳
🧭 自动科研 Agent · 评估引导迭代
Zhejiang University · University of Electronic Science and Technology of China · Beijing University of Posts and Telecommunications · Zhejiang University of Technology
执行前自动归纳任务专属评估准则，引导科研 Agent 执行并逐条验证修订，跨基准平均提升 2.08–16.8 分
📌 工作参考价值（4 点）
- 对电商/推荐 Agent 的开放任务（如 query 改写、推荐解释生成、push 文案选词），可先用 rubric induction 把模糊指令拆成可逐条校验的原子目标，例如相关性、多样性、意图覆盖，再让 Agent 执行，减少后续返工。
- 评估先行架构可以集成到现有 RAG/推荐流程：执行前生成评估标准，执行中逐条对照验证，相当于把 LLM-as-judge 前移，避免全量重写。
- 迭代修订只针对未满足的准则做定向修改，比直接重生成更省 token 且能保持输出稳定性，适合低延迟的线上 Agent 服务。
- 跨多个 backbone LLM 和 agent harness 的稳定增益说明先验 rubric 作为控制机制不依赖特定模型，可做电商 Agent 的平台化评测与跨系统迁移。